Snowflake Marketplace上でtruestar社が提供するPrepper Open Data Bank – Japanese Street Dataを試してみた #SnowflakeDB

※本エントリは、Snowflakeをもっと使いこなそう！ Advent Calendar 2022の７日目の記事となります。

さがらです。

Snowflake Marketplace上でtruestar社が提供するPrepper Open Data Bank - Japanese Street Dataを試してみたので、その内容をまとめてみます。

Prepper Open Data Bankとは

Prepper Open Data Bankとは、e-Statで公開されている国勢調査などの商用・二次利用可能なオープンデータを、特別な加工を必要とせずすぐにデータ分析が可能なテーブル形式の形で、Snowflake Data Marketplace上で無料で共有するサービスです。

実際にe-statなどのオープンデータを使用しようと思ったら、「どんなデータがあるかわからない」「データをダウンロードしたけど、形式が特殊でそのままの形で使用できない」など経験したことのある方は多いのではないでしょうか。

そこで、Prepper Open Data Bankの出番です！truestar社がe-statなどのオープンデータをきれいに使いやすい形に加工してくれているため、ユーザーが自分で加工する必要はありません。

共有されている各データの仕様については公式HPがとてもわかりやすいので、ぜひこちらもご覧ください。（各データの詳細ページには、Airtableを用いたサンプルデータもありますよ！）

Japanese Street Dataとは

本記事で検証するJapanese Calendar Dataについての説明です。

下記はSnowflake Marketplace上の説明からの引用です。各住所の町名レベルの粒度で、人口や世帯数がわかるデータのようです。

Japanese Street Data provides census and spatial data of Japan in the street level which have been edited by truestar. The data have been collected from subregional statistics and polygon data provided by e-stat Portal Site of Official Statistics of Japan. The available data includes total population data categorized by sex, age group or home ownership; students and labor workers population data; etc. in level street. Therefore, analysts can easily make use of this data to conduct various analyses on demographic and geographic factors in all areas of Japan in a high level of granularity.
Using BI or GIS tools, analysts can conduct easy mapping and create reports utilizing street data for various purposes: analyzing market needs for each area, predicting the potential of a business proposal, etc.
※ DeepL翻訳 Japanese Street Dataは、truestarによって編集された日本の国勢調査と空間データを提供します。データは、統計局ポータルサイト「e-stat」が提供する地域別統計とポリゴンデータから収集されたものです。このデータには、性別、年齢層、持ち家率で分類された総人口データ、学生や労働者の人口データなどが含まれています。このため、分析者はこのデータを利用して、日本全国の人口動態や地理的要因に関する様々な分析を高い粒度で容易に行うことができます。
BIツールやGISツールを用いて、街区データを活用した簡単なマッピングやレポート作成を行うことで、地域ごとの市場ニーズの分析、ビジネス提案の可能性予測など、様々な用途に活用することができます。

試してみた

データの取得

では、Snowflake Marketplaceからデータを取得してみたいと思います！

まず、使用するロールをIMPORT SHARE権限を持っているロールに変更してください。（デフォルトではACCOUNTADMINのみ保持しています）

Snowflake上でMarketplaceを押します。

続いて、一番上の検索BOXにjapanese streetと入れて検索します。すると、Prepper Open Data Bank - Japanese Street Dataが出てきますのでクリックします。

このページでは、データの説明やサンプルクエリを見ることが出来ます。

データを利用するためには、画面右の取得を押します。

すると、下図のようなポップアップが表示されます。オプションを開くと、アカウント上に作成するデータベース名を変更したり、現在使用しているロール以外にどのロールにこのデータへのアクセスを出来るようにするか設定が可能です。

これらの設定が終わったら、取得を押します。

この後、対象のデータベースができていれば準備は完了です！

データへのクエリ

実際に取得したデータについてクエリを発行して、どんなデータがあるか見てみたいと思います。

まず、このデータベースにはたくさんのテーブルとビューが入っております。この内、一部のテーブルとビューを試してみます。

まず、サンプルクエリも用意されているテーブルST_CS20_MSTから試してみます。

カラム名がST_CS20_MST_001～ST_CS20_MST_014となっているため、各カラムの定義を知る必要があります。

下記はMarketplaceからの引用ですが、各カラムの定義はこの様になっています。

• ST_CS20_MST_001 Address code
• ST_CS20_MST_002 Pref code
• ST_CS20_MST_003 Pref name
• ST_CS20_MST_004 Pref code and name
• ST_CS20_MST_005 City code
• ST_CS20_MST_006 City name
• ST_CS20_MST_007 City code name
• ST_CS20_MST_008 Street code
• ST_CS20_MST_009 Street name
• ST_CS20_MST_010 Research year
• ST_CS20_MST_011 Street code and name
• ST_CS20_MST_012 Population
• ST_CS20_MST_013 Number of households
• ST_CS20_MST_014 Area

この上でサンプルクエリを実行してみます。ST_CS20_MST_002が13は、東京都を意味しているようです。

SELECT *
FROM BETA.ST_CS20_MST
WHERE ST_CS20_MST_002 = '13'

ST_CS20_MST_012がその住所での人口、ST_CS20_MST_013が世帯数を表しています！（東京のど真ん中に住んでいる数人は何者なのか、気になってしまいますねｗ）

せっかく位置情報と人口の情報があるので、Tableauでも可視化してみました！使用するテーブルは、先程と同じくST_CS20_MSTを試します。

Tableauは都道府県の情報があれば簡単に地図で可視化出来るので、都道府県を示すST_CS20_MST_003と、人口を示すST_CS20_MST_012を選択して、可視化してみました。

非常に簡単な例ですが、ひと目でわかる地図の可視化を簡単に出来るのは嬉しいですね！

最後に

Snowflake Marketplace上でtruestar社が提供するPrepper Open Data Bank - Japanese Street Dataを試してみました。

今回は私の時間の関係などもあり簡単な例だけ試しましたが、他にもたくさんのテーブルがあるため、日本の位置情報と人口などの各種統計情報を用いた分析には非常に役立つデータベースだと感じました！

気になる方は無料で使用できますので、ぜひ試してみてください！